Tổ tiên của Tuân Lâm Phủ là Nguyên Thi Am, vốn mang họ Cơ, là công tộc nước Tấn, làm đại phu thời Tấn Vũ công. Tấn Vũ công sau khi diệt nước Tuân, ban cho Nguyên Thị Ảm, đổi làm họ Tuân.

Ông nội của Tuân Lâm Phủ là Tuân Tức. Tuân Tức sinh Tuân Ngao, Tuân Ngao sinh Tuân Lâm Phủ. Lúc sinh thời, Tuân Tức có công giúp Tấn Hiến công diệt hai nước Ngu, Quắc, sau Tấn Hiến công giết thế tử Cơ Thân Sinh, lập con thứ là Cơ Hề Tề làm thế tử. Tấn Hiến công lúc sắp mất giao phó Hề Tề cho Tuân Tức. Đại phu Lý Khắc không phục, đem quân tấn công vào cung giết Hề Tề. Tuân Tức lập Cơ Trác Tử lên ngôi, nhưng sau Lý Khắc lại đem quân đánh, giết cả Trác Tử và Tuân Tức[1].

Năm 632 TCN, công tử Trùng Nhĩ (Tấn Văn công) lên ngôi, muốn phục hồi hương hỏa cho họ Tuân, tìm thấy Tuân Lâm Phủ là cháu nội trưởng của Tuân Tức, bèn phong làm Trung Hành tướng, lập ra họ Trung Hành[2].

Năm 622 TCN, Tấn Tương công tổ chức lại quân đội, phong cho Tuân Lâm Phủ làm Thượng quân tá.